นายภิรมย์จบการศึกษาระดับประกาศนียบัตรวิชาการศึกษาชั้นสูง (ปก.ศ.สูง) จากวิทยาลัยครูนครราชสีมาและระดับปริญญาตรีบริหารการศึกษา จากวิทยาลัยครูนครราชสีมาเช่นเดียวกัน จากนั้นสอบเข้ารับราชการครูได้เมื่อปี พ.ศ. 2529 ที่อำเภอประทาย ซึ่งเป็นอำเภอบ้านเกิด ก่อนลาออกจากราชการครูมาทำงานการเมืองแบบเต็มตัว โดยตำแหน่งสุดท้ายทางราชการคือตำแหน่งหัวหน้าการประถมศึกษา อำเภอลำทะเมนชัย จังหวัดนครราชสีมา [1]